Recent investigations on rotation invariance for 3D point clouds have been devoted to devising rotation-invariant feature descriptors or learning canonical spaces where objects are semantically aligned. Examinations of learning frameworks for invariance have seldom been looked into. In this work, we review rotation invariance in terms of point cloud registration and propose an effective framework for rotation invariance learning via three sequential stages, namely rotation-invariant shape encoding, aligned feature integration, and deep feature registration. We first encode shape descriptors constructed with respect to reference frames defined over different scales, e.g., local patches and global topology, to generate rotation-invariant latent shape codes. Within the integration stage, we propose Aligned Integration Transformer to produce a discriminative feature representation by integrating point-wise self- and cross-relations established within the shape codes. Meanwhile, we adopt rigid transformations between reference frames to align the shape codes for feature consistency across different scales. Finally, the deep integrated feature is registered to both rotation-invariant shape codes to maximize feature similarities, such that rotation invariance of the integrated feature is preserved and shared semantic information is implicitly extracted from shape codes. Experimental results on 3D shape classification, part segmentation, and retrieval tasks prove the feasibility of our work. Our project page is released at: https://rotation3d.github.io/.
translated by 谷歌翻译
Considerable progress has recently been made in leveraging CLIP (Contrastive Language-Image Pre-Training) models for text-guided image manipulation. However, all existing works rely on additional generative models to ensure the quality of results, because CLIP alone cannot provide enough guidance information for fine-scale pixel-level changes. In this paper, we introduce CLIPVG, a text-guided image manipulation framework using differentiable vector graphics, which is also the first CLIP-based general image manipulation framework that does not require any additional generative models. We demonstrate that CLIPVG can not only achieve state-of-art performance in both semantic correctness and synthesis quality, but also is flexible enough to support various applications far beyond the capability of all existing methods.
translated by 谷歌翻译
Machine learning and deep learning classification models are data-driven, and the model and the data jointly determine their classification performance. It is biased to evaluate the model's performance only based on the classifier accuracy while ignoring the data separability. Sometimes, the model exhibits excellent accuracy, which might be attributed to its testing on highly separable data. Most of the current studies on data separability measures are defined based on the distance between sample points, but this has been demonstrated to fail in several circumstances. In this paper, we propose a new separability measure--the rate of separability (RS), which is based on the data coding rate. We validate its effectiveness as a supplement to the separability measure by comparing it to four other distance-based measures on synthetic datasets. Then, we demonstrate the positive correlation between the proposed measure and recognition accuracy in a multi-task scenario constructed from a real dataset. Finally, we discuss the methods for evaluating the classification performance of machine learning and deep learning models considering data separability.
translated by 谷歌翻译
目前,跨景元的高光谱图像(HSI)分类引起了人们的注意。当需要实时处理TD且不能重复使用训练时,必须仅在源域(SD)上训练模型(SD)并将模型直接传输到目标域(TD)。基于域概括的思想,开发了单源域扩展网络(SDENET),以确保域扩展的可靠性和有效性。该方法使用生成的对抗学习在SD中训练和TD测试。包括语义编码器和MORPH编码器在内的发电机旨在基于编码器随机化架构生成扩展域(ED),其中空间和频谱随机化专门用于生成可变的空间和光谱信息,并隐含形态知识。作为域扩展过程中的域不变信息。此外,受监督的对比学习被采用在歧视者中,以学习阶级领域不变的表示,该表示驱动了SD和ED的阶级样本。同时,对抗性训练旨在优化发电机以驱动SD和ED的阶级样品进行分离。与最先进的技术相比,在两个公共HSI数据集和另一个多光谱图像(MSI)数据集上进行了广泛的实验,证明了该方法的优越性。
translated by 谷歌翻译
在本文中,我们提出了一种基于排名的水下图像质量评估(UIQA)方法,该方法缩写为Uranker。乌兰克(Uranker)建立在高效的注意力图像变压器上。在水下图像方面,我们特别设计(1)直方图嵌入了水下图像作为直方图表的颜色分布以参加全局降解,以及(2)与模型局部降解的动态跨尺度对应关系。最终预测取决于不同量表的类代币,该标记是全面考虑多尺度依赖性的。随着保证金排名损失,我们的乌员可以根据其视觉质量通过不同的水下图像增强(UIE)算法来准确对同一场景的水下图像的顺序进行排名。为此,我们还贡献了一个数据集,即Urankerset,其中包含不同的UIE算法和相应的感知排名增强的足够结果,以训练我们的uranker。除了Uranker的良好表现外,我们发现一个简单的U-Shape UIE网络与我们的预训练的Uranker相结合时可以获得有希望的性能。此外,我们还提出了一个标准化尾巴,可以显着提高UIE网络的性能。广泛的实验证明了我们方法的最新性能。讨论了我们方法的关键设计。我们将发布我们的数据集和代码。
translated by 谷歌翻译
扩散MRI拖拉术是一种先进的成像技术,可实现大脑白质连接的体内映射。白质拟层将拖拉机分类为簇或解剖学上有意义的区域。它可以量化和可视化全脑拖拉学。当前,大多数拟层方法都集中在深白质(DWM)上,而由于其复杂性,更少的方法解决了浅表白质(SWM)。我们提出了一种新型的两阶段深度学习的框架,即浅表白质分析(SUPWMA​​),该框架对全脑拖拉机的198个SWM簇进行了有效且一致的分析。一个基于点云的网络适应了我们的SWM分析任务,并且监督的对比度学习可以在SWM的合理流线和离群值之间进行更多的歧视性表示。我们在大规模拖拉机数据集上训练模型,包括来自标签的SWM簇和解剖学上难以置信的流线样本的简化样品,我们对六个不同年龄和健康状况的独立获取的数据集进行测试(包括新生儿和具有空间型脑肿瘤的患者) )。与几种最先进的方法相比,SupWMA在所有数据集上获得了高度一致,准确的SWM分析结果,在整个健康和疾病的寿命中都良好的概括。另外,SUPWMA​​的计算速度比其他方法快得多。
translated by 谷歌翻译
白质图微观结构已显示出影响认知表现的神经心理学评分。但是,尚未尝试从白质图数据中预测这些分数。在本文中,我们提出了一个基于深度学习的框架,用于使用从扩散磁共振成像(DMRI)片段估计的微观结构测量结果进行神经心理学评分的预测,该框架的重点是基于接受语言的关键纤维纤维小道的接受性词汇评估任务的性能弓形筋膜(AF)。我们直接利用来自纤维道中所有点的信息,而无需按照传统上沿着光纤的平均数据进行扩散MRI Tractometry方法所要求的。具体而言,我们将AF表示为点云,每个点都有微观结构测量,从而可以采用基于点的神经网络。我们通过拟议的配对 - 塞亚姆损失来改善预测性能,该损失利用了有关连续神经心理学评分之间差异的信息。最后,我们提出了一种关键区域定位(CRL)算法来定位包含对预测结果有很大贡献的点的信息解剖区域。我们的方法对来自人类Connectome项目数据集的806名受试者的数据进行了评估。结果表明,与基线方法相比,神经心理评分的预测表现优异。我们发现,AF中的关键区域在受试者之间非常一致,额叶皮质区域的强大贡献最多(即,尾部中间额叶,pars opercularis和pars triangularis)与关键区域有着强烈的影响用于语言过程。
translated by 谷歌翻译
扩散MRI拖拉术是一种用于定量映射大脑结构连接性的高级成像技术。全脑拖拉机(WBT)数据包含数十万个单独的纤维流线(估计的大脑连接),并且通常会对这些数据进行分类,以创建用于数据分析应用(例如疾病分类)的紧凑表示形式。在本文中,我们提出了一种新颖的无拟合WBT分析框架Tractoformer,该框架在单个纤维流线的水平上利用拖拉术信息,并提供了使用变压器注意机制来解释结果的自然机制。 Tractoformer包括两个主要贡献。首先,我们提出了一个新颖而简单的2D图像表示WBT,Tractobedding,以编码3D纤维空间关系以及可以从单个纤维(例如FA或MD)计算的任何感兴趣的特征。其次,我们设计了一个基于视觉变压器(VIT)的网络,其中包括:1)数据增强以克服小数据集上过度适应模型的数据,2)识别判别纤维以解释结果,3)合奏学习以从不同大脑区域。在合成数据实验中,TractoFormer成功地识别了具有模拟组差异的判别纤维。在比较几种方法的疾病分类实验中,tractoformer在分类精神分裂症与对照方面达到了最高的精度。在左半球额叶和顶浅的白质区域中鉴定出判别性纤维,这些区域以前已被证明在精神分裂症患者中受到影响。
translated by 谷歌翻译
无监督的域适应性(UDA)方法已广泛用于提高模型在一般计算机视觉中的适应能力。但是,与自然图像不同,在组织病理学图像中不同类别的核存在巨大的语义差距。它仍未探索,我们如何构建通用的UDA模型来精确分割或分类不同数据集的核实例。在这项工作中,我们提出了一个新颖的深神经网络,即用于UDA Nuclei实例分割和分类的类别感知特征对齐和伪标记网络(CAPL-NET)。具体而言,我们首先提出一个具有动态可学习权衡权重的类别级特征对齐模块。其次,我们建议通过基于Nuclei-Level原型特征的伪标签来促进目标数据上的模型性能。关于跨域核实例分割和分类任务的综合实验表明,我们的方法优于最先进的UDA方法。
translated by 谷歌翻译
白质纤维聚类(WMFC)是白质细胞的重要策略,可以对健康和疾病中的白质连接进行定量分析。 WMFC通常以无监督的方式进行,而无需标记地面真相数据。尽管广泛使用的WMFC方法使用经典的机器学习技术显示出良好的性能,但深度学习的最新进展揭示了朝着快速有效的WMFC方向发展。在这项工作中,我们为WMFC,深纤维聚类(DFC)提出了一个新颖的深度学习框架,该框架解决了无监督的聚类问题,作为具有特定领域的借口任务,以预测成对的光纤距离。这使纤维表示能够在WMFC中学习已知的挑战,即聚类的敏感性对沿纤维的点排序的敏感性。我们设计了一种新颖的网络体系结构,该网络体系结构代表输入纤维作为点云,并允许从灰质拟合中纳入其他输入信息来源。因此,DFC利用有关白质纤维几何形状和灰质解剖结构的组合信息来改善纤维簇的解剖相干性。此外,DFC通过拒绝簇分配概率低的纤维来以自然方式进行异常去除。我们评估了三个独立获取的队列的DFC,包括来自220名性别,年龄(年轻和老年人)的220名个人的数据,以及不同的健康状况(健康对照和多种神经精神疾病)。我们将DFC与几种最先进的WMFC算法进行比较。实验结果表明,DFC在集群紧凑,泛化能力,解剖相干性和计算效率方面的表现出色。
translated by 谷歌翻译